Computational problems in variable selection for multilevel models using stepwise regression

Hanna Wdowicka

doi:https://doi.org/10.59139/ps.2023.04.3

Hanna Wdowicka Poznań University of Economics and Business, Department of Statistics, al. Niepodległości 10, 61-875 Poznań, Poland ORCID:https://orcid.org/0000-0003-2045-9831 Przegląd Statystyczny. Statistical Review, vol. 70, 2023, 4, pages: 73-85 Published online: 29 November 2024 DOI https://doi.org/10.59139/ps.2023.04.3 Citation: Wdowicka, H. (2023). Computational problems in variable selection for multilevel models using stepwise regression. Przegląd Statystyczny. Statistical Review, 70(4), 73–85. https://doi.org/10.59139/ps.2023.04.3

86 Views 23 Downloads

ARTICLE

(English) PDF

ABSTRACT

Multilevel modelling is a methodology that allows the consideration of variability in the level of the studied variables and the nature of the relationships between them, depending on the affiliation of study units to higher-level units (groups). Additionally, by dividing the studied population into groups, it is possible to explain part of the variability of the estimated characteristic using higher-level characteristics. The usefulness of multilevel modelling in estimating socioeconomic characteristics was investigated in the author's previous works. However, with large populations characterised by a multilevel structure, a significant drawback of this approach is its high computational complexity, often resulting in unacceptably long computation times. The main objective of the article is to propose a simplification in the algorithm of forward stepwise multilevel regression, allowing a significant reduction in the time required for variable selection in the model. The considerations will be illustrated by constructing a multilevel model to examine the determinants of daily flows related to employment based on the matrix of employment-related population flows developed from the 2021 National Census of Population and Housing (NSP 2021).

KEYWORDS

multilevel modelling, multilevel structure, random effects, cross-model, commuting to work

JEL

C51, C52, C55

REFERENCES

Bates, D. (2010). lme4: Mixed-effects modeling with R. Springer.

Bates, D. (2024). Computational methods for mixed models. http://cran.r-project.org/web/packages/lme4/vignettes/Theory.pdf.

Bates, D. (2013). Linear mixed model implementation in lme4.

Bates, D., Mächler, M., Bolker, B. M., & Walker, S. C. (2015). Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01.

Biecek, P. (2011). Analiza danych z programem R. Modele liniowe z efektami stałymi, losowymi i mieszanymi. Wydawnictwo Naukowe PWN.

Bliese, P. (2022). Multilevel Modeling in R (2. 7). A Brief Introduction to R, the multilevel package and the nlme package. https://cran.r-project.org/doc/contrib/Bliese_Multilevel.pdf.

Bołt, T. W., Krauze, K., & Kulawczuk, T. (1985). Agregacja modeli ekonometrycznych. PaństwoweWydawnictwo Ekonomiczne.

Filas-Przybył, S., & Stachowiak, D. (2019). Przepływy ludności związane z zatrudnieniem w 2016 r. Urząd Statystyczny w Poznaniu. https://stat.gov.pl/obszary-tematyczne/rynek-pracy/opracowania/przeplywy-ludnosci-zwiazane-z-zatrudnieniem-w-2016-r-,20,1.html.

Frątczak, E., & Mianowska, M. (2012). Modele mieszane. In E. Frątczak (Ed.), Zaawansowane metody analiz statystycznych (pp. 223–380). Oficyna Wydawnicza SGH.

Goldstein, H. (2003). Multilevel Statistical Models (3rd edition). Edward Arnold.

Gołata, E. (2004). Estymacja pośrednia bezrobocia na lokalnym rynku pracy. Wydawnictwo Akademii Ekonomicznej w Poznaniu.

Gruchociak, H. (2012a). Konstrukcja estymatora regresyjnego dla danych o strukturze dwupoziomowej. Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu, (242), 590–600.

Gruchociak, H. (2012b). Możliwości zastosowania modelowania dwupoziomowego w badaniach ekonomicznych. Przegląd Statystyczny. Statistical Review, 59(4), 409–433. https://doi.org/10.59139/ps.2012.04.4.

Gumuła, W., Socha, J., & Wojciechowski, W. (2007). Presja płacowa oraz niedopasowanie strukturalne na rynku pracy w świetle badań NBP. Narodowy Bank Polski. https://static.nbp.pl/publikacje/materialy-i-studia/ms219.pdf.

Hox, J. J. (2010). Multilevel Analysis. Techniques and Applications (2nd edition). Routledge. https://doi.org/10.4324/9780203852279.

Klimanek, T. (2003). Wielopoziomowa analiza struktury agrarnej gminy w systemie Geo-Info [rozprawa doktorska, Akademia Ekonomiczna w Poznaniu]. https://bazawiedzy.ue.poznan.pl/info/phd/UEP844a7d3f538c48f4ba20dbebc9ee7803/.

Kopczewska, K. (2006). Ekonometria i statystyka przestrzenna z wykorzystaniem programu R-CRAN. CeDeWu.

Kowalewski, J. (Ed.). (2014). Dojazdy do pracy. Narodowy Spis Powszechny Ludności i Mieszkań 2011. Główny Urząd Statystyczny. https://stat.gov.pl/spisy-powszechne/nsp-2021/nsp-2021-wyniki-ostateczne/dojazdy-do-pracy-nsp-2011,8,1.html.

Kowalewski, J. (Ed.). (2024). Dojazdy do pracy w świetle wyników Narodowego Spisu Powszechnego Ludności i Mieszkań 2021. Główny Urząd Statystyczny, Urząd Statystyczny w Poznaniu. https://stat.gov.pl/spisy-powszechne/nsp-2021/nsp-2021-wyniki-ostateczne/dojazdy-do-pracyw-swietle-wynikow-nsp-2021,8,2.html.

Kruszka, K. (Ed.). (2010). Dojazdy do pracy w Polsce. Terytorialna identyfikacja przepływów ludności związanych z zatrudnieniem. Główny Urząd Statystyczny, Urząd Statystyczny w Poznaniu. https://stat.gov.pl/obszary-tematyczne/rynek-pracy/opracowania/dojazdy-do-pracyw-polsce-2010-na-podstawie-danych-administracyjnych,8,1.html.

Krzyśko, M. (1996). Statystyka matematyczna. Wydawnictwo Naukowe Uniwersytetu im. Adama Mickiewicza w Poznaniu.

Lindley, D. V., & Smith, A. F. M. (1972). Bayes Estimates for the Linear Model. Journal of the Royal Statistical Society, Series B (Methodological), 34(1), 1–41.

Łaszkiewicz, E. (2016). Ekonometria przestrzenna III. Modele wielopoziomowe – teoria i zastosowania. Wydawnictwo C.H. Beck.

Łysoń, P. (Ed.). (2024). Ludność na rynku pracy w świetle wyników Narodowego Spisu Powszechnego Ludności i Mieszkań 2021 – wersja uaktualniona. Główny Urząd Statystyczny. https://stat.gov.pl/spisy-powszechne/nsp-2021/nsp-2021-wyniki-ostateczne/ludnosc-na-rynkupracy-w-swietle-wynikow-narodowego-spisu-powszechnego-ludnosci-i-mieszkan-2021-wersjauaktualniona,11,3.html.

Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical Linear Models. Applications and Data Analysis Methods (2nd edition). Sage Publications.

Suchecka, J., & Łaszkiewicz, E. (2017). Wykorzystanie modelowania wielopoziomowego w analizie jakości życia. Studia Ekonomiczne. Zeszyty Naukowe Uniwersytetu Ekonomicznego w Katowicach, (344), 133–144. https://www.ue.katowice.pl/fileadmin/user_upload/wydawnictwo/SE_Artyku%C5%82y_341_360/SE_344/08.pdf.

Twisk, J. W. R. (2010). Analiza wielopoziomowa – przykłady zastosowań. Praktyczny podręcznik biostatyki i epidemiologii. Oficyna Wydawnicza SGH.

Węziak, D. (2007). Wielopoziomowe modelowanie regresyjne w analizie danych. Wiadomości Statystyczne, 52(9), 1–12.